GBM(Gradient Boosting Machine)

Algorithm

---

1. 가장 맨 처음 사용될 base-leaner $h_1=\arg {\min }_h\sum _{t}E(r^t,h(\overrightarrow{x^t}))$를 찾는다.
   1. 어떤 model을 사용하는지에 따라 다르게 찾아진다. ANN이라면 Gradient Descent로, Decision Tree라면 Information Gain이 큰 것으로 찾게 될 것이다.
   2. 상수로 설정하기도 한다.
2. $l=2,\cdots ,L$까지 반복하면서 아래의 과정을 반복한다.
   1. $\tilde{h}=\sum _{i=1}^{l-1}{\eta }_i{h}_i$: 이전의 모델을 learning rate $0\le \eta \le 1$에 대해 만든다.
   2. 각 데이터 $\overrightarrow{x^t}$에 대해 $\nabla E^t=\frac{\partial E(r^t,\widetilde{h(\stackrel{⃗}{x^t})})}{\partial h(\overrightarrow{x^t})}$를 계산한다. 이는 일종의 negative residual이라고 볼 수 있다. 실제 정답과 예측 값의 차이에 대해, 그 차이가 커지는 방향의 값이므로 Loss를 줄이기 위해 학습해야 할 남은 부분(residual)의 negative라 할 수 있다.
   3. $h_l=\arg {\min }_h\sum _t(-\nabla E^t-\widetilde{h(\stackrel{⃗}{x^t})}{)}^2$: residual과 예측 값의 Loss를 최소화하는 그러한 $h$를 찾아 새로운 model $h_l$로 업데이트 한다.

Prediction

---

$$y=\sum _l{\eta }_l{h}_l$$